|
|
1.
基于累计工作量的在线大数据分析作业调度算法
李叶飞, 徐超, 许道强, 邹云峰, 张晓达, 钱柱中
计算机应用
2019, 39 (8):
2431-2437.
DOI: 10.11772/j.issn.1001-9081.2019010073
针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题，设计了基于累计工作量（CRW）的任务调度器CRWScheduler。该调度器根据CRW将任务在低权重队列与高权重队列间切换；在为作业分配资源时，同时考虑到作业所在的队列和其瞬时占用资源量，无需作业先验知识即显著提升系统性能。基于Apache Hadoop YARN实现了CRWScheduler原型，在28个节点的基准测试集群上的实验表明，与YARN的公平调度机制相比，作业流时间（JFT）平均降低21%，其中95百分位的作业流时间（JFT）最多降低了35%，并且在与任务级调度程序协作时可获得进一步的性能提升。
参考文献 |
相关文章 |
多维度评价
|
|
